Video-language pre-training has advanced the performance of various downstream video-language tasks. However, most previous methods directly inherit or adapt typical image-language pre-training paradigms to video-language pre-training, thus not fully exploiting the unique characteristic of video, i.e., temporal. In this paper, we propose a Hierarchical Temporal-Aware video-language pre-training framework, HiTeA, with two novel pre-training tasks for modeling cross-modal alignment between moments and texts as well as the temporal relations of video-text pairs. Specifically, we propose a cross-modal moment exploration task to explore moments in videos, which results in detailed video moment representation. Besides, the inherent temporal relations are captured by aligning video-text pairs as a whole in different time resolutions with multi-modal temporal relation exploration task. Furthermore, we introduce the shuffling test to evaluate the temporal reliance of datasets and video-language pre-training models. We achieve state-of-the-art results on 15 well-established video-language understanding and generation tasks, especially on temporal-oriented datasets (e.g., SSv2-Template and SSv2-Label) with 8.6% and 11.1% improvement respectively. HiTeA also demonstrates strong generalization ability when directly transferred to downstream tasks in a zero-shot manner. Models and demo will be available on ModelScope.
translated by 谷歌翻译
Automatic segmentation of kidney and kidney tumour in Computed Tomography (CT) images is essential, as it uses less time as compared to the current gold standard of manual segmentation. However, many hospitals are still reliant on manual study and segmentation of CT images by medical practitioners because of its higher accuracy. Thus, this study focuses on the development of an approach for automatic kidney and kidney tumour segmentation in contrast-enhanced CT images. A method based on Convolutional Neural Network (CNN) was proposed, where a 3D U-Net segmentation model was developed and trained to delineate the kidney and kidney tumour from CT scans. Each CT image was pre-processed before inputting to the CNN, and the effect of down-sampled and patch-wise input images on the model performance was analysed. The proposed method was evaluated on the publicly available 2021 Kidney and Kidney Tumour Segmentation Challenge (KiTS21) dataset. The method with the best performing model recorded an average training Dice score of 0.6129, with the kidney and kidney tumour Dice scores of 0.7923 and 0.4344, respectively. For testing, the model obtained a kidney Dice score of 0.8034, and a kidney tumour Dice score of 0.4713, with an average Dice score of 0.6374.
translated by 谷歌翻译
本文重新讨论了一个非常简单但非常有效的计算范式,深度共同学习(DML)。我们观察到,有效性与其出色的概括质量高度相关。在本文中,我们从新的角度来解释了DML的性能改善,即这大约是贝叶斯后的采样程序。这也为应用R \'{e} nyi Divergence改善原始DML的基础建立了基础,因为它带来了先验的差异控制(在DML的上下文中)。因此,我们提出了r \'{e} nyi Divergence深度共同学习(RDML)。我们的经验结果代表了DML和\ renyi {}差异的婚姻的优势。R \'{E} nyi Divergence施加的灵活控制能够进一步改进DML,以学习更好的广义模型。
translated by 谷歌翻译
本文回顾了AIM 2022上压缩图像和视频超级分辨率的挑战。这项挑战包括两条曲目。轨道1的目标是压缩图像的超分辨率,轨迹〜2靶向压缩视频的超分辨率。在轨道1中,我们使用流行的数据集DIV2K作为培训,验证和测试集。在轨道2中,我们提出了LDV 3.0数据集,其中包含365个视频,包括LDV 2.0数据集(335个视频)和30个其他视频。在这一挑战中,有12支球队和2支球队分别提交了赛道1和赛道2的最终结果。所提出的方法和解决方案衡量了压缩图像和视频上超分辨率的最先进。提出的LDV 3.0数据集可在https://github.com/renyang-home/ldv_dataset上找到。此挑战的首页是在https://github.com/renyang-home/aim22_compresssr。
translated by 谷歌翻译
近年来,随着新颖的策略和应用,神经网络一直在迅速扩展。然而,尽管不可避免地会针对关键应用程序来解决这些挑战,例如神经网络技术诸如神经网络技术中仍未解决诸如神经网络技术的挑战。已经尝试通过用符号表示来表示和嵌入域知识来克服神经网络计算中的挑战。因此,出现了神经符号学习(Nesyl)概念,其中结合了符号表示的各个方面,并将常识带入神经网络(Nesyl)。在可解释性,推理和解释性至关重要的领域中,例如视频和图像字幕,提问和推理,健康信息学和基因组学,Nesyl表现出了有希望的结果。这篇综述介绍了一项有关最先进的Nesyl方法的全面调查,其原理,机器和深度学习算法的进步,诸如Opthalmology之类的应用以及最重要的是该新兴领域的未来观点。
translated by 谷歌翻译
深神经网络(DNN)是医疗应用中有前途的工具。但是,由于通信的能源成本很高,因此在电池供电设备上实施复杂的DNN是具有挑战性的。在这项工作中,开发了卷积神经网络模型,用于检测心电图(ECG)信号的房颤。该模型表明,尽管接受了有限的可变长度输入数据训练,但表现出了高性能。重量修剪和对数定量合并以引入稀疏性并降低模型大小,可以利用这些稀疏性,以减少数据移动和降低计算复杂性。最终模型达到了91.1%的模型压缩率,同时保持高模型精度为91.7%,损失小于1%。
translated by 谷歌翻译
文本指导的图像编辑模型显示出了显着的结果。但是,还有两个问题。首先,他们采用固定的操纵模块来满足各种编辑要求(例如,更改颜色,纹理更改,内容添加和删除),从而导致编辑过度编辑或不足。其次,他们没有清楚地区分文本要求的和文本 - 略带的部分,从而导致编辑不准确。为了解决这些局限性,我们提出:(i)动态编辑块(DEBLOCK),该块(DEBLOCK)以各种编辑要求动态组成不同的编辑模块。 (ii)一个组成预测变量(COMP-PRED),可根据目标文本和源图像的推断来预测deBlock的组成权重。 (iii)动态文本自适应卷积块(dcblock),该块(dcblock)查询源图像特征,以区分文本需要的零件和文本 - iRrelevant零件。广泛的实验表明,我们的DE-NET可实现出色的性能,并更正确,准确地操纵源图像。代码可在\ url {https://github.com/tobran/de-net}中获得。
translated by 谷歌翻译
现有的旋转对象探测器主要来自水平检测范式,因为后者已经进化到发达的区域。然而,由于当前回归设计的限制,这些检测器难以在高精度检测中进行突出的高精度检测,尤其是具有大纵横比的对象。在旋转物体检测的情况下,采用透视图,在本文中,在旋转和水平检测的关系方面,我们有动力改变从感应范例到扣除方法的旋转回归损失。我们表明一个基本挑战是如何调制旋转回归损耗中的耦合参数,因为这种估计参数可以以自适应和协同方式在动态联合优化期间彼此影响。具体地,我们首先将旋转边界框转换为2-D高斯分布,然后计算高斯分布之间的Kullback-Leibler发散(KLD)作为回归损耗。通过分析每个参数的梯度,我们显示KLD(及其衍生物)可以根据对象的特征动态调整参数梯度。它将根据宽高比调整角度参数的重要性(梯度重量)。随着高精度检测,这种机制对于大角度误差会导致大型纵横比对象的严重精度下降至关重要。更重要的是,我们证明了KLD是规模不变的。我们进一步表明,KLD丢失可以退化为流行的$ l_ {n} $ - 常规损耗进行水平检测。使用不同探测器的七个数据集的实验结果显示其一致的优势,并且在https://github.com/yangxue0827/rotationDetection提供代码。
translated by 谷歌翻译
本文回顾了关于压缩视频质量增强质量的第一个NTIRE挑战,重点是拟议的方法和结果。在此挑战中,采用了新的大型不同视频(LDV)数据集。挑战有三个曲目。Track 1和2的目标是增强HEVC在固定QP上压缩的视频,而Track 3旨在增强X265压缩的视频,以固定的位速率压缩。此外,轨道1和3的质量提高了提高保真度(PSNR)的目标,以及提高感知质量的2个目标。这三个曲目完全吸引了482个注册。在测试阶段,分别提交了12个团队,8支球队和11支球队,分别提交了轨道1、2和3的最终结果。拟议的方法和解决方案衡量视频质量增强的最先进。挑战的首页:https://github.com/renyang-home/ntire21_venh
translated by 谷歌翻译
边界不连续性及其与最终检测度量的不一致是旋转检测回归设计的瓶颈。在本文中,我们提出了一种基于高斯Wasserstein距离的新型回归损失作为解决问题的基本方法。具体地,旋转边界盒被转换为2-D高斯分布,这使得能够通过梯度反向传播可以有效地学习的高斯Wassersein距离(GWD)来近似逼降旋转IOU诱导损失。 GWD仍然可以进行信息,即使在两个旋转边界盒之间没有重叠,通常是小对象检测的情况。由于其三种独特的特性,GWD也可以挽救解决边界不连续性和方形的问题,而不管如何定义边界框。使用不同探测器的五个数据集的实验显示了我们方法的有效性。代码在https://github.com/yangxue0827/rotationDetection提供。
translated by 谷歌翻译